딥러닝 하드웨어 가속 분야에서 개발자들은 종종 닌자 갭: 고수준 파이썬 코드(파이토치/텐서플로우)와 저수준 수동 최적화된 CUDA 커널 사이의 막대한 성능 차이를 의미합니다. Triton 은 이 격차를 메우기 위해 설계된 오픈소스 언어 및 컴파일러입니다.

1. 생산성-효율성 스펙트럼

전통적으로 당신은 두 가지 선택지가 있었습니다: 고생산성 (파이토치), 사용하기 쉬운 반면 맞춤형 연산에 자주 비효율적인 경우, 또는 고효율 (CUDA), GPU 아키텍처, 공유 메모리 관리, 스레드 동기화에 대한 전문 지식을 필요로 합니다.

2. 타일 기반 프로그래밍 모델

CUDA는 단일 스레드에 대해 코드를 작성하는 스레드 중심 모델인 반면, Triton은 타일 중심 모델을 사용합니다. 데이터 블록(타일)을 대상으로 작동하는 프로그램을 작성합니다. 컴파일러는 자동으로 다음 작업을 처리합니다:

• 메모리 코일링: 글로벌 메모리 접근을 최적화합니다.
• 공유 메모리: 빠른 온칩 SRAM 캐시를 관리합니다.
• SM 스케줄링: 스트리밍 멀티프로세서들 사이에 작업을 분배합니다.

3. 왜 Triton이 중요한가요?

Triton은 연구자들이 큰 규모의 모델 학습에 필요한 성능을 희생하지 않고도 파이썬으로 맞춤형 커널(예: 플래시 어텐션)을 작성할 수 있게 해줍니다. 수동 동기화 및 메모리 스테이징의 복잡성을 추상화합니다.